Position modeling plays a critical role in Transformers. In this paper, we focus on length extrapolation, i.e., training on short texts while evaluating longer sequences. We define attention resolution as an indicator of extrapolation. Then we propose two designs to improve the above metric of Transformers. Specifically, we introduce a relative position embedding to explicitly maximize attention resolution. Moreover, we use blockwise causal attention during inference for better resolution. We evaluate different Transformer variants with language modeling. Experimental results show that our model achieves strong performance in both interpolation and extrapolation settings. The code will be available at https://aka.ms/LeX-Transformer.

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

We propose eXtensible Prompt (X-Prompt) for prompting a large language model (LLM) beyond natural language (NL). X-Prompt instructs an LLM with not only NL but also an extensible vocabulary of imaginary words that are introduced to help represent what NL words hardly describe, allowing a prompt to be more descriptive. Like NL prompts, X-Prompt is out-of-distribution (OOD) robust, for which we propose context-guided learning with prompt augmentation to learn its imaginary words for general usability, enabling them to use in different prompt contexts for fine-grain specifications. The promising results of X-Prompt demonstrate its potential of approaching advanced interaction between humans and LLMs to bridge their communication gap.

网络分析一直是揭示大量对象之间关系和交互的强大工具。然而，它在准确识别重要节点节点相互作用的有效性受到快速增长的网络规模的挑战，数据以空前的粒度和规模收集。克服这种高维度的共同智慧是将节点崩溃成较小的群体，并在小组级别进行连通性分析。将努力分为两个阶段不可避免地打开了一致性的差距，并降低了效率。共识学习是通用知识发现的新常态，并具有多个可用的数据源。为此，本文以组合多个数据源来开发同时分组和连接分析的统一框架。该算法还保证了统计上最佳的估计器。

对象重排是将对象从初始状态移动到目标状态。在这里，我们专注于对象重排的更实际设置，即从洗牌布局到不明确目标规范的规范目标分布的重新安排对象。但是，对于AI代理商而言，它仍然具有挑战性，因为很难描述奖励工程或收集专家轨迹作为示范的目标分布（目标规范）。因此，直接采用强化学习或模仿学习算法来解决任务是不可行的。本文旨在仅使用目标分布而不是手工奖励功能的一组示例来搜索策略。我们采用分数匹配目标来训练目标梯度场（TARGF），指示每个对象的方向增加目标分布的可能性。对于对象重新安排，可以通过两种方式使用TARGF：1）对于基于模型的计划，我们可以将目标梯度投入使用分布式路径计划者的参考控制和输出操作； 2）对于无模型的增强学习，TARGF不仅用于估计可能性变化作为奖励，而且还提供了剩余政策学习中建议的行动。球重排和房间重排的实验结果表明，我们的方法在终端状态的质量，控制过程的效率和可扩展性方面显着优于最先进的方法。代码和演示视频在我们的项目网站上。

本文介绍了一个基于双基的算法框架，用于求解具有累积的凸奖励，硬资源限制和不可分割的正常化程序的正规在线资源分配问题。在适应性更新资源约束的策略下，所提出的框架仅要求对经验二重性问题的近似解决方案，直到某种准确性，但在本地强烈凸出的假设下给出了最佳的对数遗憾。令人惊讶的是，对双重目标函数的微妙分析使我们能够消除遗憾的臭名昭著的日志因素。灵活的框架呈现出著名的和计算快速算法，例如双梯度下降和随机梯度下降。如果在双重优化过程中没有适应性更新，则建立了最糟糕的平方根遗憾下限，这强调了自适应双重变量更新的关键作用。全面的数值实验和实际数据应用证明了提出的算法框架的优点。

比较两个网络的两样本假设检验是一个重要但困难的问题。主要挑战包括：潜在的不同大小和稀疏度；邻接矩阵的未重复观察；计算可伸缩性；和理论研究，尤其是在有限样本的准确性和最小值最佳方面。在本文中，我们通过比较网络矩提出了第一个可证明的高阶准确的两样本推理方法。我们的方法将经典的两样本t检验扩展到网络设置。我们做出薄弱的建模假设，并可以有效地处理不同大小和稀疏度的网络。我们建立了强大的有限样本理论保证，包括速率 - 优先属性。我们的方法易于实现并快速计算。我们还设计了一个新型的离线哈希和快速查询的非参数框架，特别有效地维护和查询了非常大的网络数据库。我们通过全面的模拟证明了我们方法的有效性。我们将方法应用于两个现实世界数据集，并发现有趣的新颖结构。

本文研究了聚类基质值观测值的计算和统计限制。我们提出了一个低级别的混合模型（LRMM），该模型适用于经典的高斯混合模型（GMM）来处理基质值观测值，该观测值假设人口中心矩阵的低级别。通过集成Lloyd算法和低级近似值设计了一种计算有效的聚类方法。一旦定位良好，该算法将快速收敛并达到最小值最佳的指数型聚类错误率。同时，我们表明一种基于张量的光谱方法可提供良好的初始聚类。与GMM相当，最小值最佳聚类错误率是由分离强度（即种群中心矩阵之间的最小距离）决定的。通过利用低级度，提出的算法对分离强度的要求较弱。但是，与GMM不同，LRMM的统计难度和计算难度的特征是信号强度，即最小的人口中心矩阵的非零奇异值。提供了证据表明，即使信号强度不够强，即使分离强度很强，也没有多项式时间算法是一致的。在高斯以下噪声下进一步证明了我们低级劳埃德算法的性能。讨论了LRMM下估计和聚类之间的有趣差异。通过全面的仿真实验证实了低级劳埃德算法的优点。最后，我们的方法在现实世界数据集的文献中优于其他方法。

在临床医学中，磁共振成像（MRI）是诊断，分类，预后和治疗计划中最重要的工具之一。然而，MRI遭受了固有的慢数据采集过程，因为数据在k空间中顺序收集。近年来，大多数MRI重建方法在文献中侧重于整体图像重建而不是增强边缘信息。这项工作通过详细说明了对边缘信息的提高来阐述了这一趋势。具体地，我们通过结合多视图信息介绍一种用于快速多通道MRI重建的新型并行成像耦合双鉴别器生成的对抗网络（PIDD-GaN）。双判别设计旨在改善MRI重建中的边缘信息。一个鉴别器用于整体图像重建，而另一个鉴别器是负责增强边缘信息的负责。为发电机提出了一种具有本地和全局剩余学习的改进的U-Net。频率通道注意块（FCA块）嵌入在发电机中以结合注意力机制。引入内容损耗以培训发电机以获得更好的重建质量。我们对Calgary-Campinas公共大脑MR DataSet进行了全面的实验，并将我们的方法与最先进的MRI重建方法进行了比较。在MICCAI13数据集上进行了对剩余学习的消融研究，以验证所提出的模块。结果表明，我们的PIDD-GaN提供高质量的重建MR图像，具有良好的边缘信息。单图像重建的时间低于5ms，符合加快处理的需求。

本报告介绍了在大型多语种计算机翻译中为WMT21共享任务的Microsoft的机器翻译系统。我们参加了所有三种评估轨道，包括大轨道和两个小轨道，前者是无约束的，后两者完全受约束。我们的模型提交到共享任务的初始化用deltalm \脚注{\ url {https://aka.ms/deltalm}}，一个通用的预训练的多语言编码器 - 解码器模型，并相应地使用巨大的收集并行进行微调数据和允许的数据源根据轨道设置，以及应用逐步学习和迭代背翻译方法进一步提高性能。我们的最终提交在自动评估度量方面排名第一的三条轨道。